 # 第二只爬虫程序

#导入爬虫库
from selenium import webdriver
from selenium.webdriver.edge.service import Service
import time #导入另外一个需要用到的时间库

# 初始化浏览器
# 这里用的是Edge浏览器，同样的还可以使用Chrome()，FireFox()等浏览器进行操作
# 创建 浏览器驱动服务对象
ser = Service()
# 指定 EdgeDriver 的本地路径，方便等会儿导入到Python程序中使用
# 老版本的selenium的驱动路径设置变量叫executable_path
# ser.executable_path = r'C:\msedgedriver.exe'  
# 新版本的selenium的驱动路径设置变量精简成path了，用executable_path会报错
ser.path = r'D:\msedgedriver.exe'             
# 创建WebDriver对象，使用之前创建 Service 对象进行配置初始化
driver = webdriver.Edge(service=ser)

#加入for循环，爬取前5页,1页开始
for i in range(1,6):
    # 设置爬虫链接→南昌大学的新闻网站
    #不过这次要根据循环次数动态设置分页码,index后方拼接变量i
    # 这样每次循环后，页码都会+1，依次为1，2，3，4，5
    url = f"https://news.ncu.edu.cn/ndyw/index{i}.htm"
    #让爬虫驱动控制浏览器访问url网页地址
    driver.get(url)

    # 等待3秒让网页加载完成
    time.sleep(3)

    # 提取网页内容，暂存到content变量中
    content = driver.page_source # 获取完整 HTML 源码

    # 将content中的内容保存到本地的wen.html文件中，这个文件会在左边的控制台中看见
    # 同样的每次写入的文件也需要根据循环次数修改名字
    with open(f'web{i}.html', 'w', encoding='utf-8') as f:
        f.write(content)

#关闭驱动程序
driver.quit()